CycleGAN(cycle-consistent GAN)

이미지와 이미지 간의 변환을 위해 사용되는 딥러닝 모델로, 한 이미지의 특징을 다른 이미지에 자연스럽게 녹여내는 등의 변환에 사용된다.

이를 위해서 각 도메인의 독립전인 이미지만으로도 생성이 가능하다.
즉, 어떤 특징을 적용시킨 supervised 기반의 label 이미지가 필요 없이도, 전혀 다른 도메인의 이미지의 특징을 받아와 다른 이미지에 적용시킬 수 잇다는 것이다.

2가지의 Generator( $G_{1}$ , $G_{2}$ )와, 2가지의 Discriminator( $D_{X}$ , $D_{Y}$ )가 사용된다.

위 사진에서의 L2 Loss: Cycle Consistency Loss

Loss function

Cycle consistency loss, adversarial loss로 구성된다.

Adversarial loss: 각 $G$ 와 $D$ 간의 Loss를 학습시킨다.
Cycle Consistency loss: $G_{1} (G_{2} (Y)) \approx Y$ , $G_{2} (G_{1} (X)) \approx X$ 가 되도록 만들어주는 Loss.

생성된 이미지를 다시 복구했을 때, 변환 대상이 되는 도메인의 이미지와 비슷해지도록 Cycle Consistency Loss를 이용한다.

또한, Generator에 대해서 Advesarial Loss를 계속 학습 시켜 기존 이미지의 특성이 일부분 남아 있을 수 있도록 강제한다.

Adversarial Losses:

$L_{GAN} (G_{1}, D_{Y}, x, y) = E_{y} [lo g D_{Y} (y)] + E_{z} [lo g (1 - D_{Y} (G_{1} (x)))]$
$L_{GAN} (G_{2}, D_{X}, y, x) = E_{x} [lo g D_{X} (x)] + E_{z} [lo g (1 - D_{X} (G_{2} (y)))]$

Cycle Consistency Losses:

이 때, Total Loss는

L (G_{1}, G_{2}, D_{X}, D_{Y}, x, y) = L_{GAN} (G_{1}, D_{Y}, x, y) + L_{GAN} (G_{2}, D_{X}, y, x) + L_{cycle} (G_{1}, x) + L_{cycle} (G_{2}, y)

이고, 이를 maximize하는 $D_{X}, D_{Y}$ 와 minimize 하는 $G_{1}, G_{2}$ 를 찾는다.